Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO
小模型天然为GRPO提供策略级多样性
🧭 GRPO训练中策略级探索增强 ★ 深度解读
Tsinghua University · Shanghai AI Laboratory · The Chinese University of Hong Kong · City University of Hong Kong
利用同家族小模型的策略级多样性替代token噪声，通过渐进退火实现大模型训练加速与性能提升
📌 工作参考价值（3 点）
- 在推荐/Agent场景中，可借鉴用能力较弱但行为更多样的模型（如蒸馏小模型）生成候选离线样本，训练更强的决策模型，实现低成本探索。
- 渐进退火策略：训练早期多用小模型rollout保证多样性，后期逐步切换至大模型on-policy，避免分布偏移导致性能退化，这一机制可直接用于离线强化学习或推荐系统的A/B策略优化。
- 利用同一模型家族内天然存在的策略差异（通过蒸馏带来的参数级扰动）作为多样性源，比粗暴提高采样温度更稳定、生成的序列更具逻辑连贯性，对需要保持文本质量的电商文案生成等多步推理任务有参考价值。